Regression Trees | Machine Learning | Pusan National University

ŷ_Rm = (1/n_m) Σ yᵢ구역 R_m에 도달한 학습 관측값의 평균이 그 끝점의 예측값이며, 제곱오차를 가장 작게 만든다.

분할 후 RSS후보마다 두 자식 구역에서 각자의 평균으로 잰 잔차제곱합을 더하고 가장 작은 후보를 고른다.

같은 끝점, 같은 예측한 구역 안의 새 관측은 특성값이 달라도 모두 같은 평균값을 받으므로 예측이 계단 모양이 된다.

기준값 후보마다 두 구역의 RSS를 더해 가장 작은 곳에서 자른다

x = (2, 5, 9, 14), y = (1, 2, 8, 9)인 관측 네 개를 한 번 나눈다. 기준값을 바꾸면 두 구역의 평균선, 잔차, 분할 후 RSS가 바뀐다.

기준값

왼쪽에서 파란 점이 관측, 검은 점선이 기준값, 초록 가로선이 각 구역의 평균 예측, 빨간 점선이 잔차다. 오른쪽 막대는 네 경우의 RSS이며 초록 막대가 현재 선택이다. 기준값 후보는 서로 다른 x값 사이의 중간값이다.

야구 선수의 경력(년)과 지난해 안타 수로 로그 연봉을 예측하는 잎 세 개짜리 나무다. 두 값을 바꾸면 선수가 놓인 구역, 따라가는 경로, 예측값이 바뀐다.

경력(년) 6

안타 수 150

왼쪽은 경력과 안타 수 평면을 두 번의 분할로 나눈 세 구역이고 구역 안의 수가 예측하는 로그 연봉이다. 색이 진할수록 예측값이 크다. 검은 마름모가 입력한 선수이고 초록 테두리가 그 구역이다. 오른쪽 나무의 굵은 초록 선이 따라간 경로다.

특성 하나짜리 학습 관측 80개에 회귀 트리를 키운다. 최대 깊이를 바꾸면 끝점 수, 계단 모양 예측, 학습 RSS가 바뀐다.

최대 깊이 2

파란 점이 학습 관측, 초록 계단이 끝점마다의 평균 예측, 회색 점선이 자료를 만든 함수다. 계단의 가로 조각 하나가 끝점 하나다.